我们探索了使用机器学习技术来消除实验光谱中大量$ \ gamma $ ray检测器的响应。分段$ \ gamma $ -Ray总吸收光谱仪(TAS)允许同时测量单个$ \ gamma $ -ray $ -Ray-ray Energy(e $ _ \ gamma $)和总激发能量(E $ _X $)。 TAS检测器数据的分析使E $ _X $和E $ _ \ gamma $数量相关联,因此与使用E $ _x $和E $ _ \ gamma $响应函数相关的技术是复杂的,因此不那么准确。在这项工作中,我们调查了有条件生成的对抗网络(CGAN)同时展开$ e_ {x} $和$ e _ {\ gamma} $ data在TAS检测器中的数据。具体而言,我们采用PIX2PIX CGAN,这是一种基于深度学习进展的生成建模技术,以处理$(e_x,e _ {\ gamma})$矩阵作为图像到图像翻译问题。我们提出了单个 - $ \ gamma $和double-$ \ gamma $ decay cascades的模拟和实验矩阵的结果。我们的模型展示了检测器分辨率限制内的表征功能,其模拟测试用例$ 90 \%$。
translated by 谷歌翻译
Scaling up neural networks has led to remarkable performance across a wide range of tasks. Moreover, performance often follows reliable scaling laws as a function of training set size, model size, and compute, which offers valuable guidance as large-scale experiments are becoming increasingly expensive. However, previous work on scaling laws has primarily used private data \& models or focused on uni-modal language or vision learning. To address these limitations, we investigate scaling laws for contrastive language-image pre-training (CLIP) with the public LAION dataset and the open-source OpenCLIP repository. Our large-scale experiments involve models trained on up to two billion image-text pairs and identify power law scaling for multiple downstream tasks including zero-shot classification, retrieval, linear probing, and end-to-end fine-tuning. We find that the training distribution plays a key role in scaling laws as the OpenAI and OpenCLIP models exhibit different scaling behavior despite identical model architectures and similar training recipes. We open-source our evaluation workflow and all models, including the largest public CLIP models, to ensure reproducibility and make scaling laws research more accessible. Source code and instructions to reproduce this study will be available at https://github.com/LAION-AI/scaling-laws-openclip
translated by 谷歌翻译
随着深度学习模型的速度较大,需要进行大型型号培训的系统级解决方案。我们展示了Amazon Sagemaker模型并行性,这是一个与Pytorch集成的软件库,并且可以使用模型并行性和其他内存节省功能轻松培训大型模型。与现有解决方案相比,Sagemaker库的实现更通用,灵活,因为它可以自动分区和运行具有最小代码的任意模型架构上的管道并行性,并且还为张量并行度提供一般和可扩展的框架,它支持更广泛的用例,并且可以轻松应用于新培训脚本的模块化。该库还将本机Pytorch用户体验保留到更大的程度,支持模块重复使用和动态图形,同时让用户完全控制训练步骤的细节。我们评估GPT-3,Roberta,BERT和神经协作过滤的性能,并表现出对现有解决方案的竞争性能。
translated by 谷歌翻译
即使在数十年的量子计算开发之后,通常在经典同行中具有指数加速的通常有用量子算法的示例是稀缺的。线性代数定位量子机学习(QML)的量子算法中的最新进展作为这种有用的指数改进的潜在来源。然而,在一个意想不到的发展中,最近一系列的“追逐化”结果同样迅速消除了几个QML算法的指数加速度的承诺。这提出了关键问题是否是其他线性代数QML算法的指数加速度持续存在。在本文中,我们通过该镜头研究了Lloyd,Garnerone和Zanardi的拓扑数据分析算法后面的量子算法方法。我们提供了证据表明,该算法解决的问题通过表明其自然概括与模拟一个清洁量子位模型很难地难以进行棘手的 - 这被广泛认为需要在经典计算机上需要超时时间 - 并且非常可能免疫追逐。基于此结果,我们为等级估计和复杂网络分析等问题提供了许多新的量子算法,以及其经典侵害性的复杂性 - 理论上。此外,我们分析了近期实现的所提出的量子算法的适用性。我们的结果为全面吹嘘和限制的量子计算机提供了许多有用的应用程序,具有古典方法的保证指数加速,恢复了线性代数QML的一些潜力,以成为量子计算的杀手应用之一。
translated by 谷歌翻译